Tên gọi

Tên xã vốn được đặt theo tên bản Khau Vai, nơi có chợ Khau Vai nổi tiếng. "Khau Vai" theo tiếng Tày, Nùng có nghĩa là "đèo gai". Tuy nhiên vì các lý do không rõ, các văn liệu tiếng phổ thông viết thành "Khâu Vai".

Ngày 9 tháng 8 năm 2005, Chính phủ ban hành Nghị định số 104/2005/NĐ-CP[3] về việc thành lập xã Niêm Tòng trên cơ sở 1.137,50 ha diện tích tự nhiên và 1.380 nhân khẩu của xã Khâu Vai.

Sau khi điều chỉnh địa giới hành chính thành lập xã Niêm Tòng, xã Khâu Vai còn lại 3.017,50 ha diện tích tự nhiên và 4.588 nhân khẩu.